Gia đình thế hệ trước của Tào Tuyết Cần là một gia đình quan lại thuộc tầng lớp đại quý tộc thời nhà Thanh Trung Quốc. Năm Thiên Khải thứ nhất nhà Minh (1618), Thanh Thái Tổ là Nỗ Nhĩ Cáp Xích mang quân chinh phạt, đánh chiếm Thẩm Dương, Liêu Dương, tổ tiên của Tào Tuyết Cần bị quân Thanh bắt làm nô lệ, thái cao tổ của Tào Tuyết Cần là Tào Thế Tuyển và cao tổ là Tào Chấn Ngạn lần lượt làm gia nô cho Đa Nhĩ Cổn. Sau đó Tào Chấn Ngạn được Đa Nhĩ Cổn phong làm phụ tá, lại có công bình định cuộc khởi nghĩa Khương Tương nên được bổ làm tri châu Cát Châu (Sơn Tây), tri phủ phủ Đại Đồng, Lưỡng Chiết đô chuyển vận diêm sử (chức vận chuyển muối, hàm Tam phẩm).

Đến năm Thuận Trị thứ 8 (1651), nhà họ Tào được vào Ngự tiền nội vụ phủ, phụ trách các việc tạp vụ trong cung đình, cụ nội của Tào Tuyết Cần là Tào Tỷ được Vương phủ hộ vệ thăng làm Nội đình nhị đẳng thị vệ (thị vệ hạng hai trong cung).

Theo như Hồ Thích và Chu Nhữ Xương khảo sát, thì nhà họ Tào và vương triều Mãn Thanh có quan hệ khá mật thiết. Vợ của Tào Tỷ họ Tôn là vú nuôi của vua Khang Hy, ông nội của Tào Tuyết Cần là Tào Dần còn là bạn học và ngự tiền thị vệ của Khang Hy, do đó được Khang Hy chiếu cố và sủng tín rất đặc biệt. Năm Khang Hy thứ hai (1663), Tào Tỷ đảm nhận chức Giang Ninh chức tạo là một chức quan to thu thuế trong triều đình, phụ trách việc thu thuế cả một vùng Giang Nam rộng lớn và nắm việc thu mua, cung ứng tơ lụa gấm vóc cho cung đình đồng thời giám sát các quan lại ở phương Nam và ông đã đảm nhận chức này suốt 22 năm. Khang Hy trọng đãi Tào Tỷ rất hậu, tặng thưởng mãng bào, đích thân viết hai chữ kính thận để tặng Tào Tỷ, sau khi Tào Tỷ mất được Khang Hy phong hàm Nhất phẩm Công bộ thượng thư, bản thân còn hứa rằng nửa năm sau khi đi tuần Nam sẽ vào thăm gia thuộc họ Tào.

Sau khi Tào Tỷ chết, Tào Dần nhậm chức Tô Châu chức tạo, rồi kế nhiệm chức Giang Ninh chức tạo và Lưỡng Hoài tuần diêm ngự sử, thăng Thông chính sứ ty thông chính sứ, là một trong "Cửu khanh", đường đường "tam phẩm đại thần". Tào Dần còn là một nhà thơ, nhà văn rất nổi tiếng, tinh thông thi từ, âm nhạc, thư pháp, chính Tào Dần là người đứng ra hiệu đính và in ấn bộ Toàn Đường thi nổi tiếng, đồng thời là tác gia tên tuổi với Luyện đình thi sao và nhiều trước tác khác. Đời Tào Dần là thời kỳ cực thịnh của nhà họ Tào, năm lần vua Khang Hy tuần du phương Nam thì bốn lần Tào Dần phụ trách tiếp giá, vợ Tào Dần là con gái Lý Sĩ Trinh làm tuần phủ Giang Nam, hai con gái Tào Dần đều được tuyển làm Vương phi. Trong thời gian làm quan, Tào Dần đã tham ô và bòn rút của công, nhưng do quan hệ mật thiết với triều đình nên các lời đàn hặc tâu lên đã không được Khang Hy phê chuẩn.

Năm Khang Hy thứ 51 (1712), Tào Dần bị bệnh mất, Khang Hy phê chuẩn cho con là Tào Ngung giữ chức Giang Ninh chức tạo, Tào Ngung chỉ tại nhiệm được ba năm thì mất, Khang Hy lại phê chuẩn cho con người vợ kế của Tào Dần là Tào Thiếu kế nhiệm chức Giang Ninh chức tạo.

Năm 1722 Khang Hy qua đời, Ung Chính lên ngôi, nội bộ triều đình tranh giành quyền lực, nhà họ Tào bị thất sủng, nhiều lời đàn hặc của ngự sử và Tuần phủ Sơn Đông về việc nhà họ Tào tham ô nhũng lại đến tai vua Ung Chính. Năm Ung Chính thứ 5 (1729), Ung Chính hạ lệnh cách chức Tào Thiếu với tội danh hành vi bất đoan, nhũng nhiễu dịch trạm, thiếu khống rồi hạ ngục trị tội, gia sản nô bộc bị tịch thu cấp cho quan Giang Ninh chức tạo mới là Tuỳ Hách Đức. Tào Tuyết Cần phải theo gia đình rời Giang Nam về Bắc Kinh sinh sống. Từ đó nhà họ Tào lâm vào sa sút.